Вплоть до конца 14-го века всякие письменные упоминания города отсутствуют.
В 15-м веке Каргополь становится укрепленным городом и ведет активную борьбу на стороне Новгорода против усиления влияния Москвы на севере. В 1447 году в городе находят приют бежавшие из Москвы князья Дмитрий Шемяка и Иван Можайский, бывшие политическими противниками великого князя Василия Темного.
Во время царствования Ивана Грозного, в 1565 году, Каргополь зачисляется в 19 "царских городов", которые обеспечивали содержание опричнины.
Интересно, что Каргополь получил официальный статус города лишь в 1613 году, хотя впервые назван таковым в документах 14-го века. К 17-му веку в Каргополе насчитывалось более 20 храмов, из них лишь один каменный - Христорождественский.